天天爽天天爽夜夜爽毛片 I 亚洲精品久久久久午夜 I 黄视频网站免费在线观看 I 天天插天天搞 I 麻豆三级在线观看 I 亚洲一线产区二线产区精华91 I 看色片网站 I 亚洲国产精品国自产拍av绿帽子 I 日韩系列在线 I 最新网址av I 亚洲福利在线播放 I 欧美老熟妇乱子伦牲交视频 I 日本在线免费播放 I 夜夜骑夜夜骑 I 国产欧美日韩久久久久 I 香蕉视频一区二区三区 I 国产黄色小网站 I 精品三级久久久久电影我网 I 永久免费的无码中文字幕 I 午夜影院欧美 I 日韩性生交大片免费看 I 99热这里只有精 I 亚洲一区欧美一区 I 国产高清不卡av I 玖玖玖视频 I 成人三级在线看 I 超碰免费成人 I 丁香综合激情 I 成人免费无码精品国产电影 I gai在线观看免费高清 I 无码精品日韩专区 I 桃色在线网站 I 免费色漫在线 I 公交车上荫蒂添的好舒服的视频 I 中文字幕乱视频

對于百度搜索引擎來說，蜘蛛黑洞特指網(wǎng)站通過極低的成本制造出大量參數(shù)過多，及內(nèi)容雷同但具體參數(shù)不同的動態(tài)URL ，就像一個無限循環(huán)的“黑洞”將spider困住，Baiduspider浪費了大量資源抓取的卻是無效網(wǎng)頁。

比如很多網(wǎng)站都有篩選功能，通過篩選功能產(chǎn)生的網(wǎng)頁經(jīng)常會被搜索引擎大量抓取，而這其中很大一部分檢索價值不高，如“500-1000之間價格的租房”，首先網(wǎng)站（包括現(xiàn)實中）上基本沒有相關(guān)資源，其次站內(nèi)用戶和搜索引擎用戶都沒有這種檢索習(xí)慣。這種網(wǎng)頁被搜索引擎大量抓取，只能是占用網(wǎng)站寶貴的抓取配額。那么該如何避免這種情況呢？

我們以北京某團(tuán)購網(wǎng)站為例，看看該網(wǎng)站是如何利用robots巧妙避免這種蜘蛛黑洞的：

對于普通的篩選結(jié)果頁，該網(wǎng)站選擇使用靜態(tài)鏈接，如：http://bj.XXXXX.com/category/zizhucan/weigongcun

同樣是條件篩選結(jié)果頁，當(dāng)用戶選擇不同排序條件后，會生成帶有不同參數(shù)的動態(tài)鏈接，而且即使是同一種排序條件（如：都是按銷量降序排列），生成的參數(shù)也都是不同的。如：http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

對于該團(tuán)購網(wǎng)來說，只讓搜索引擎抓取篩選結(jié)果頁就可以了，而各種帶參數(shù)的結(jié)果排序頁面則通過robots規(guī)則拒絕提供給搜索引擎。

robots.txt的文件用法中有這樣一條規(guī)則：Disallow: /*?* ，即禁止搜索引擎訪問網(wǎng)站中所有的動態(tài)頁面。該網(wǎng)站恰是通過這種方式，對Baiduspider優(yōu)先展示高質(zhì)量頁面、屏蔽了低質(zhì)量頁面，為Baiduspider提供了更友好的網(wǎng)站結(jié)構(gòu)，避免了黑洞的形成。